#Seed Diffusion Preview

avatar
sitin
1个月前
字节跳动Seed团队发布实验性扩散语言模型Seed Difusion Preview。 验证离散扩散技术作为下一代语言模型基础框架的可行性， 通过“两阶段课程学习”（从局部补全到全局编辑）、“约束顺序训练”（引入代码结构先验）、“同策略学习优化并行解码”等技术，解决了扩散模型在语言任务中的两大难题：归纳偏置冲突与推理效率瓶颈。 在代码生成任务中，Seed Diffusion Preview 实现了 2146 tokens/s 的推理速度，比同规模自回归模型快 5.4 倍，同时保持甚至超越其生成质量，尤其在需要全局规划的任务（如代码编辑）中表现更优。
深度学习模型升级引发AI能力大跃进，行业迎新变革· 95 条信息
#字节跳动 #Seed Diffusion Preview #扩散语言模型 #代码生成 #高速推理
avatar
字节跳动刚刚发布了他们的文本 Diffusion 模型！—— Seed Diffusion Preview！ 给不太了解文本 Diffusion 模型的同学，大家都知道现在 transformer 大模型是一个字一个字蹦出来的，而文本Diffusion 模型则是跟图像Diffusion 模型差不多，是一个去噪过程，整段话随机出现文本最后组成所有输出。 Diffusion 文本模型的优点是巨快，字节这个有 每秒 2146 个 token 的速度（应该是现在最快？）。我让它用 Rust 写冒泡排序，几乎是秒出。当然目前 Diffusion 文本模型最大的问题还是性能太低了，很难干活。 目前除了 Seed Diffusion Preview以外，还有最知名的 Mercury Coder 和 Google 的 Gemini Diffusion. 一会也给大家带来简单的测评。 字节的发布blog: 在线体验地址：
#字节跳动 #文本 Diffusion 模型 #Seed Diffusion Preview #AI #技术测评